#evaluation benchmark

3 篇

MAxBench: A Multinomial Concept Recovery Benchmark

MAxBench：多类别概念恢复基准

🧭 可解释性 · 多类别概念表示评估

Boston University · Technion – Israel Institute of Technology · Harvard University

提出几何无关的评估框架 MAxBench，比较 10 种方法，发现仿射子空间最优且优势源于偏移项

📌 工作参考价值（4 点）

在需要控制多类别概念（如商品属性、兴趣标签）的生成式推荐或 Agent 中，仿射子空间表示（线性方向 + 非零偏移）比纯线性方向更可靠；若自行训练类别方向，应学习 offset 而非只学 basis，可显著提升召回和可控性。
MAxBench 的采样评估方式（从表示中采样而非直接测量距离）可迁移到评估不同表示学习方法（如 LoRA、adapter、prompt 等）对多类别属性的操控效果，避免几何假设过强。
论文发现 no method consistently beats prompting，提示在业务中做可控生成时，先用 prompt 基线验证概念可操控性，再决定是否需要更复杂的 internal steering。
本文属可解释性方向，对电商/搜索推荐直接业务价值有限，但若涉及模型内容安全/风格控制/属性操控，可参考其评估思路。

Eval | 2026-09-11 | cs.LG | score 6/10

RAG-Safety-Bench：检索增强 LLM 安全性的可靠评估

🧭 RAG 安全评估基准

University of Ottawa

提出 RAG-Safety-Bench 基准，用四种条件隔离 RAG 安全退化因素，发现护栏不保证 RAG 安全且良性文档也可能引发不安全生成

📌 工作参考价值（4 点）

Eval | 2026-09-10 | cs.IR | score 6/10

面向文档集整体质量：从评估基准到无训练优化

🧭 文档集评估与选择 · 面向 RAG 闭环

Tencent Yuanbao AI Search · University of Science and Technology of China · University of Chinese Academy of Sciences · Shandong University

提出文档集评估基准 SetwiseEvalKit 和无训练选择方法 Rubric4Setwise，以更少文档提升 RAG 生成质量

📌 工作参考价值（4 点）

电商 RAG 场景（智能客服、AI 导购）中，可借鉴 Rubric4Setwise：定义业务准则（如覆盖产品属性、避免矛盾），利用 LLM 将准则转化为文档选择信号，以更少文档提升答案完整性与准确性。
用 SetwiseEvalKit 的多维指标（冗余、冲突、互补）诊断多路召回融合后的文档集质量，指导重排序策略优化，弥补传统逐条相关性指标的局限。
无训练方法适合快速迭代和冷启动，无需专门训练文档集选择模型，直接复用现有 LLM 的评估能力。
开源基准与工具可直接用于线下评测不同 reranker 的文档集层面效果，为选型提供依据。

Eval | 2026-07-21 | HF Daily | score 7/10